第五课第一周第一部分的编程作业直接构建了 rnn 和 lstm 的前向传播和方向传播函数，但是这次作业实在做得坎坷无比，还以为是自己的问题，上论坛一看，没想到大家都在抱怨这一次的作业各种出问题，公式给的莫名其妙，得到的结果老是对不上答案，在 lstm 的反向传播部分甚至连公式都给错了，这里做一个更正，并给出自己的手写推导。

更正后的公式

$$\begin{split}原公式中的“d \Gamma_o^{\langle t \rangle}” &= dZ_o^{<t>}=\frac{\partial J}{\partial Z_o^{<t>}}=\frac{\partial J}{\partial(W_o[a^{<t-1>},x^{<t>}]+b_o)} \\ &= da_{next}*\tanh(c_{next}) * \Gamma_o^{\langle t \rangle}*\left(1-\Gamma_o^{\langle t \rangle}\right) \end{split}\tag{7}$$ $$\begin{split}原公式中的“d\widetilde{c}^{\langle t \rangle}”&=dZ_c^{<t>}=\frac{\partial J}{\partial Z_c^{<t>}}=\frac{\partial J}{\partial(W_c[a^{<t-1>},x^{<t>}]+b_c)} \\ &= \left(dc_{next}+ \Gamma_o^{\langle t \rangle}* (1-\tanh(c_{next})^2) * da_{next} \right) \Gamma_u^{\langle t \rangle} * \left(1-\left(\widetilde c^{\langle t \rangle}\right)^2\right) \end{split}\tag{8}$$ $$\begin{split}原公式中的“d\Gamma_u^{\langle t \rangle}”&=dZ_u^{<t>}=\frac{\partial J}{\partial Z_u^{<t>}}=\frac{\partial J}{\partial(W_u[a^{<t-1>},x^{<t>}]+b_u)} \\ &= \left(dc_{next}+ \Gamma_o^{\langle t \rangle}* (1-\tanh(c_{next})^2) * da_{next}\right)*\Gamma_u^{\langle t \rangle}* \widetilde{c}^{\langle t \rangle} *\left(1-\Gamma_u^{\langle t \rangle}\right)\end{split}\tag{9}$$ $$\begin{split}原公式中的“d\Gamma_f^{\langle t \rangle}”&=dZ_f^{<t>}=\frac{\partial J}{\partial Z_f^{<t>}}=\frac{\partial J}{\partial(W_f[a^{<t-1>},x^{<t>}]+b_f)} \\ &= \left(dc_{next}+ \Gamma_o^{\langle t \rangle} * (1-\tanh(c_{next})^2) * da_{next}\right)*\Gamma_f^{\langle t \rangle}* c_{prev}*\left(1-\Gamma_f^{\langle t \rangle}\right)\end{split}\tag{10}$$ $$dW_f = d\Gamma_f^{\langle t \rangle} \begin{bmatrix} a_{prev} \\ x_t\end{bmatrix}^T \tag{11}$$ $$dW_u = d\Gamma_u^{\langle t \rangle} \begin{bmatrix} a_{prev} \\ x_t\end{bmatrix}^T \tag{12}$$ $$dW_c = d\widetilde c^{\langle t \rangle} \begin{bmatrix} a_{prev} \\ x_t\end{bmatrix}^T \tag{13}$$ $$dW_o = d\Gamma_o^{\langle t \rangle} \begin{bmatrix} a_{prev} \\ x_t\end{bmatrix}^T \tag{14}$$ $$db_f=np.sum(d\Gamma_f^{\langle t \rangle},axis=1,keepdims=True)\tag{15}$$ $$db_u=np.sum(d\Gamma_u^{\langle t \rangle},axis=1,keepdims=True)\tag{16}$$ $$db_c=np.sum(d\Gamma_c^{\langle t \rangle},axis=1,keepdims=True)\tag{17}$$ $$db_o=np.sum(d\Gamma_o^{\langle t \rangle},axis=1,keepdims=True)\tag{18}$$ $$da_{prev} = W_f^T[:,:n_a] d\Gamma_f^{\langle t \rangle} + W_u^T[:,:n_a] d\Gamma_u^{\langle t \rangle}+ W_c^T[:,:n_a] d\widetilde c^{\langle t \rangle} + W_o^T[:,:n_a] d\Gamma_o^{\langle t \rangle} \tag{19}$$ $$dc_{prev} = dc_{next}*\Gamma_f^{\langle t \rangle} + \Gamma_o^{\langle t \rangle} * (1- \tanh(c_{next})^2)*\Gamma_f^{\langle t \rangle}*da_{next} \tag{20}$$ $$dx^{\langle t \rangle} = W_f^T[:,n_a:] d\Gamma_f^{\langle t \rangle} + W_u^T[:,n_a:] d\Gamma_u^{\langle t \rangle}+ W_c^T[:,n_a:] d\widetilde c^{\langle t \rangle} + W_o^T[:,n_a:] d\Gamma_o^{\langle t \rangle}\tag{21}$$

推导

lstm 前向传播为：

$$\begin{array} { l } { \tilde { c } ^ { < t > } = \tanh \left( W _ { c } \left[ a ^ { < t - 1 > } , x ^ { < t > } \right] + b _ { c } \right) } \\ 更新门 \ \ { \Gamma _ { u } = \sigma \left( W _ { u } \left[ a ^ { < t - 1 > } , x ^ { < t > } \right] + b _ { u } \right) } \\遗忘门 \ \ { \Gamma _ { f } = \sigma \left( W _ { f } \left[ a ^ { < t - 1 > } , x ^ { < t > } \right] + b _ { f } \right) } \\ 输出门 \ \ { \Gamma _ { o } = \sigma \left( W _ { o } \left[ a ^ { < t - 1 > } , x ^ { < t > } \right] + b _ { o } \right) } \\ { c ^ { < t > } = \Gamma _ { u } * \tilde { c } ^ { < t > } + \Gamma _ { f } * c ^ { < t - 1 > } } \\ { a ^ { < t > } = \Gamma _ { o } * \tanh c ^ { < t > } } \end{array}$$

首先易知：

$$f(x)=sigmoid(x)=\sigma(x) \rightarrow f'(x) = f(x)(1-f(x))\\ g(x)=tanh(x) \rightarrow g'(x)=1-g^2(x)$$

* 表示逐元素相乘，· 表示内积